Cao Lực Sĩ vốn tên là Phùng Nguyên Nhất (馮元一), là người Lương Đức thuộc Phiên Châu[1]. Ông nội Phùng Nguyên Nhất là Phùng Áng (馮盎) làm Tổng quản Cao châu. Cha ông là Phùng Quân Hành làm thứ sử Phiên châu. Năm Phùng Nguyên Nhất 16 tuổi (689), cha ông phạm tội nên bị tịch biên gia sản. Gia quyến Phùng Quân Hành bị sung làm nô tỳ, trong số đó Phùng Nguyên Nhất bị thiến đưa vào cung. Lĩnh Nam thảo kích sử là Lý Thiên Lý bắt Nguyên Nhất cống nạp vào cung làm hoạn quan[2].